CausalDS: Benchmarking Causal Reasoning in Data-Science Agents
CausalDS：评估数据科学智能体因果推理的合成基准
🧭 因果推理基准 · 数据科学Agent评估
Department of Statistics, University of Michigan
提出通过合成结构因果模型与真实背景故事评估LLM在数据科学管线中的因果推理、工具使用与弃权能力
📌 工作参考价值（4 点）
- 在电商搜索推荐中，可借鉴其合成SCM+观测噪声生成评估数据的方法，构建针对因果推断类A/B测试分析、归因模型的离线评测集，避免使用线上真实数据时的数据泄露与鹦鹉风险。
- 弃权作为第一类评分结果的设计可直接迁移到Agent辅助的数据分析产品中：当置信度不足或信息缺失时，要求Agent主动声明“无法回答”，提升输出可靠性，尤其适用于策略归因、指标异动分析等易出错的场景。
- 联合评估因果推理+编码+工具使用的框架，能用于筛选适合数据科学Agent的LLM，确保其在推荐系统复杂分析（如效果评估、特征因果效应）中既能写出正确的分析代码（如do-calculus实现），又能正确调用pandas、因果库等工具。
- 故事与数据成对生成、覆盖Pearl三层问题的方法，可以启发设计多层级因果问答的评测体系，检验Agent在描述性、预测性、反事实任务上的表现，避免仅关注预测准确率而忽略因果推理深度。